Ông tên thật Trần Văn Hữu, sinh năm 1825, quê ở làng Mỹ Quan, tổng Cao Vịnh, huyện Nga Sơn, phủ Hà Trung, tỉnh Thanh Hóa (nay là thôn Mỹ Quan, xã Hà Vinh, huyện Hà Trung, tỉnh Thanh Hóa). Ông là con thứ hai trong gia đình 7 người con (gồm 5 trai 2 gái). Cha ông là ông Trần Văn Nhu, người Nam Ðịnh, còn mẹ ông không rõ tên, là người gốc Ninh Bình.[1]

Khi rửa tội, ông được đặt tên thánh là Phêrô. Năm 1840, ông rời gia đình theo linh mục Trần Văn Tiếu làm phụ lễ tại giáo xứ Bạch Bát. Năm 1845, ông được nhận vào Tiểu chủng viện Vĩnh Trị, đổi tên thành Trần Văn Triêm để tránh trùng tên với một chủng sinh khác. Sau khi tốt nghiệp vào năm 1850 và chịu chức Sáu (diacre) tại nhà thờ Tràng Vĩnh Trị, xứ Kẻ Vĩnh, Nam Định[2], ông được gửi đi thực tập truyền giáo trong một số giáo xứ cho đến năm 1855 thì được nhận vào Đại chủng viện Kẻ Non (Hà Nam), bấy giờ do Giám mục Charles Hubert Jeantet (tên Việt là Khiêm) cai quản, để tiếp tục học thêm về Triết lý và Thần học và thụ phong Phó tế.